El muchacho, a la vez que estudiaba en la universidad, recibía a escondidas lecciones de música. Contra los deseos de su padre estudió canto, violín, clavicordio y participó en el coro de San Esteban de Viena. Pronto se ocupó de la instrucción musical de los niños del coro de voces blancas de la Catedral de San Esteban. Su aprendizaje musical fue absolutamente autodidacta, pero tan provechoso que, cuando acudió al famoso teórico y compositor J. J. Fux para recibir lecciones, éste declaró que no había ni una sola cosa que necesitara aprender, y le aconsejó partir a Italia. Holzbauer marchó a estudiar a Venecia, donde entró en contacto con los grandes maestros de la escuela veneciana: Vivaldi, Albinoni, Galuppi y Lotti; posteriormente marchó a Nápoles, donde completó su formación frecuentando a Porpora y Hasse.

A comienzos de la década de 1731 se convirtió en Kapellmeister del Conde Rottal der Holesov en Moravia, y poco después de casarse con la cantante Rosalie Andreides en 1737 fue nombrado director musical del teatro de la corte vienesa. Inició su actividad operística componiendo Lucio Papiro, representada el 12 de octubre de 1737. Durante los periodos 1742 - 1744 y 1746 – 1750 fue director de la orquesta del Burgtheater de Viena, donde compuso la música para los ballets de dos óperas de Hasse, Ipermestra y L’Arminio.

En 1750 fue nombrado  Oberkapellmeister de la catedral de Stuttgart, en sustitución de Giuseppe Antonio Brescianello, y el 15 de junio de 1753 estrena en la ciudad alemana de Schwetzingen la fábula pastoral Il figlio della selva, obteniendo un gran éxito, lo que le valió ser nombrado  Kapellmeister  de la catedral de Mannheim, y permaneció allí cuando la corte se trasladó a Munich, en 1778, componiendo y enseñando; sus alumnos incluyen al pianista Johann Anton Friedrich Fleischmann, y Carl Stamitz. .
En 1757 y 1759 viajó a Italia para representar algunas de sus óperas, como Nitteti y Alessandro nell’Indie. En 1778 abandonó Mannheim para entrar al servicio del rey de Baviera en Múnich, y en 1781, aquejado de una fuerte sordera, regresó definitivamente a Mannheim donde moriría dos años más tarde.

Bajo su dirección, la orquesta de Mannheim llegó a ser una de las más prestigiosas de Europa. Como compositor, Holzbauer, fue extremadamente prolífico: 200 sinfonías, 18 cuartetos, 13 conciertos para varios instrumentos, 2 oratorios, 26 misas, 37 cantatas, y 15 óperas. Su estilo estético está en línea con el "movimiento" alemán de arte y literatura Sturm und Drang. Las principales obras de Holzbauer fueron sus óperas, todas ellas estrenadas en Mannheim o en Schwetzingen, donde el Elector Carl Theodor tenía su palacio de verano. La más famosa de ellas, "Günther von Schwarzburg" (1777), un singspiel con texto de Antón Klein, está basada en la vida del rey epónimo; fue una temprana ópera nacional alemana, a cuya presentación asistieron Wolfgang A. Mozart y su hermana, y donde conocieron a Anton Raaff, que posteriormente participó con un papel en el estreno de “Idomeneo”. Mozart también compuso nueve números para insertarlos en un “Miserere” de Holzbauer por encargo del Concert Spirituel de París en 1778, pero se han perdido. Se les ha dado el número de catálogo KV 297a en la lista de las obras de Mozart.

Las restantes óperas son en su mayoría italianas, seis de ellas basadas en libretos de Metastasio. Estas incluyen “Il figlio delle selve” (estrenada en Schwetzingen, 1753), cuyo éxito llevó a la oferta de trabajo de la corte en Mannheim. Apenas ha sobrevivido su música. En segundo lugar, hay que considerar sus sinfonías (unas setenta), y cuatro oratorios (“La Betulia liberata”, 1760), así como algunas piezas de cámara (cuartetos de cuerdas, nocturnos y sonatas).